"""
数据处理计算
==============================================================================================
distinct

去重

==============================================================================================
rdd.distinct()

"""

# 演示RDD的flatMap成员方法的使用
from pyspark import SparkConf, SparkContext
# windows 中 spark 找不到对于的 python 解释器会报错
import os

os.environ["PYSPARK_PYTHON"] = "D:/python3.11/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)


# 准备一个RDD
rdd = sc.parallelize([1, 2, 2, 4, 4]).distinct()
# [1, 2, 4]
print(rdd.collect())
